กู้ได้หรือป่าว

เราสามารถกู้เว็ปที่ปิดตัวลงไปแล้วได้หรือป่าว แต่เว็ปนั้นเป็นของคนอื่นนะ หรือวิธีดึงข้อมูลทั้งหมดจากเว็ปนั้นๆ โดยที่เว็ปนั้นติด robots.txt เอาไว้ด้วยหรือทำไม่ได้ถ้าทำได้จะต้องทำยังไง??